20.3 KB · ⇊ 6 parts · ⤓ Micron 20.3 KB · ⤓ HTML 79.9 KB

top

Il mwawpercettrone (mwbain inglese mwbqperceptron) è un algoritmo di apprendimento supervisionato per classificatori binari introdotto nel mwbg1958 da mwbwFrank Rosenblattcite-ref-1[1] fra i primi modelli di mwdareti neurali artificiali. Si tratta di un mwdqclassificatore lineare che combina i vettori delle variabili di input con i propri coefficienti. Tali pesi vengono appresi attraverso aggiornamenti successivi, causati dalla misclassificazione di esempi di addestramento da parte della funzione lineare corrente.

• Descrizione

• Storia

• Il problema dell'apprendimento

• Algoritmo di apprendimento standard

• Note

• Bibliografia

• Voci correlate

• Altri progetti

• Collegamenti esterni

Nell'mweqapprendimento automatico, il percettrone è un tipo di mwegclassificatore lineare binario che mappa i suoi ingressi mwew x {\displaystyle x} (un mwfavettore di tipo mwfqreale) in un valore di mwfgoutput mwfw f ( x ) {\displaystyle f(x)} (uno scalare di tipo reale) calcolato con

mwgq f ( x ) = χ χ ( ⟨ ⟨ w , x ⟩ ⟩ + b ) {\displaystyle f(x)=\chi (\langle w,x\rangle +b)}

dove mwgw w {\displaystyle w} è un vettore di pesi con valori reali, l'operatore mwha ⟨ ⟨ ⋅ ⋅ , ⋅ ⋅ ⟩ ⟩ {\displaystyle \langle \cdot ,\cdot \rangle } è il mwhqprodotto scalare (che calcola una somma pesata degli mwhginput), mwhw b {\displaystyle b} è il mwiabias, un termine costante che non dipende da alcun valore in mwiqinput e mwig χ χ ( y ) {\displaystyle \chi (y)} è la funzione di mwiwoutput. Le scelte più comuni per la funzione mwja χ χ ( y ) {\displaystyle \chi (y)} sono:

1. mwjw χ χ ( y ) = sign ⁡ ⁡ ( y ) {\displaystyle \chi (y)=\operatorname {sign} (y)}

2. mwkq χ χ ( y ) = y Θ Θ ( y ) {\displaystyle \chi (y)=y\,\Theta (y)}

3. mwkw χ χ ( y ) = y {\displaystyle \chi (y)=y}

dove mwlq Θ Θ ( y ) {\displaystyle \Theta (y)} è la mwlgfunzione di Heaviside

Il primo caso corrisponde a un classificatore binario (lmwma'mwmqoutput può assumere solamente i valori mwmg + 1 {\displaystyle +1} e mwmw − − 1 {\displaystyle -1} ); un caso particolarmente studiato è quello in cui sia gli mwnainput mwnq x {\displaystyle x} che lmwng'mwnwoutput mwoa f ( x ) {\displaystyle f(x)} sono binari.

Il mwogbias mwow b {\displaystyle b} può essere pensato come un settaggio della funzione di attivazione (per esempio quando mwpa χ χ ( y ) {\displaystyle \chi (y)} è come nel caso 3), o come un livello base di attivazione per l'output del neurone (per esempio quando mwpq χ χ ( y ) {\displaystyle \chi (y)} è come nei casi 1 e 2). In quest'ultima situazione, il valore mwpg − − b {\displaystyle -b} rappresenta un valore di soglia che la somma pesata degli mwqainput deve superare affinché il dispositivo sia attivo (cioè che lmwqq'mwqgoutput sia positivo).

Il percettrone può essere considerato come il più semplice modello di mwrarete neurale feed-forward,cite-ref-2[2]cite-ref-3[3] in quanto gli mwtginput alimentano direttamente l'unità di mwtwoutput attraverso connessioni pesate. Nel caso in cui gli mwuainput e gli mwuqoutput sono dello stesso tipo, è possibile creare reti più complesse unendo più percettroni insieme, per esempio usando un gruppo (o strato) di percettroni come mwuginput per un secondo gruppo di percettroni, oppure facendo in modo che lmwuw'mwvainput di ogni percettrone della rete sia dato dallmwvq'mwvgoutput di ogni altro percettrone (rete mwvwfully-connected).

Sulla scorta dei primi modelli neurali artificiali ideati già dal mwwg1943 da mwwwWarren McCulloch e mwxaWalter Pitts.cite-ref-4[4], il percettrone fu proposto da mwyqFrank Rosenblatt nel mwyg1958 come un'entità con uno strato di ingresso ed uno di uscita ed una regola di apprendimento basata sulla minimizzazione dell'errore, la cosiddetta funzione di mwywerror back-propagation (mwzaretropropagazione dell'errore) che in base alla valutazione sull'uscita effettiva della rete rispetto ad un dato ingresso altera i pesi delle connessioni (mwzqsinapsi) come differenza tra l'uscita effettiva e quella desiderata.

L'entusiasmo fu enorme e nacque il settore della cibernetica, ma dopo che mwzwMarvin Minsky e mwaaSeymour Papert dimostrarono i limiti del percettrone e cioè la sua capacità di riconoscere dopo un opportuno addestramento solamente funzioni linearmente separabili (ad esempio la funzione logica mwaqXOR non può essere implementata da un percettrone) l'interesse scemò rapidamente.

Di fatto una rete a più livelli di percettroni poteva risolvere problemi più complessi, ma la crescente complessità computazionale dell'addestramento rendeva impraticabile questa strada. Solo nel decennio successivo si riprese a considerare l'utilità di questa entità operazionale.

Modificando il vettore dei pesi mwdq w {\displaystyle w} , è possibile modulare lmwdg'mwdwoutput di un percettrone, con lo scopo d'ottenere delle proprietà di apprendimento o di memorizzazione. Per esempio, si può cercare di istruire un percettrone in modo che, dato un mweainput mweq x {\displaystyle x} , lmweg'mwewoutput mwfa f ( x ) {\displaystyle f(x)} sia quanto più vicino possibile a un dato valore mwfq g ( x ) {\displaystyle g(x)} scelto a priori; le capacità computazionali di un singolo percettrone sono tuttavia limitate, e le prestazioni che è possibile ottenere dipendono fortemente sia dalla scelta degli mwfginput (che potrebbero per esempio essere limitati ad un sottoinsieme di tutti gli mwfwinput possibili, oppure venire estratti a caso secondo una certa distribuzione di probabilità prefissata) che dalla scelta della funzione che si desidera implementare, mwga g ( x ) {\displaystyle g(x)} . In misura minore, dipendono anche da come viene quantificata la distanza tra gli mwgqoutput effettivi e quelli attesi.

Una volta che si sia definito il problema dell'apprendimento, si può cercare di trovare l'assegnazione ottimale di pesi mwgw w ¯ ¯ {\displaystyle {\overline {w}}} per il problema dato.

L'mwhwalgoritmo di apprendimento mwiastandard è un algoritmo iterativo, definito come segue: ad ogni iterazione mwiq t {\displaystyle t} , un vettore di input mwig x t {\displaystyle x^{t}} viene presentato al percettrone, che calcola lmwiw'mwjaoutput mwjq f ( x t ) {\displaystyle f(x^{t})} e lo confronta con il risultato desiderato mwjg g ( x t ) {\displaystyle g(x^{t})} ; quindi, il vettore dei pesi mwjw w t {\displaystyle w^{t}} viene aggiornato come segue:

mwkq w t + 1 = w t + α α ( g ( x t ) − − f ( x t ) ) x t {\displaystyle w^{t+1}=w^{t}+\alpha \,(g(x^{t})-f(x^{t}))x^{t}}

dove mwkw α α {\displaystyle \alpha } è una costante di apprendimento strettamente positiva che regola la velocità dell'apprendimentocite-ref-5[5]. Al passo successivo, il nuovo mwmainput mwmq x t + 1 {\displaystyle x^{t+1}} verrà pesato secondo il nuovo vettore mwmg w t + 1 {\displaystyle w^{t+1}} , che verrà poi nuovamente modificato in mwmw w t + 2 {\displaystyle w^{t+2}} e così via.

L'insieme mwnq D x {\displaystyle D_{x}} da cui sono estratti i campioni mwng x {\displaystyle x} presentati al percettrone durante il periodo dell'apprendimento è detto mwnwmwoatraining set.

Nel caso in cui esistano:

• un certo vettore mwqw w ^ ^ t . c . ‖ ‖ w ^ ^ ‖ ‖ = 1 {\displaystyle {\hat {w}}\ t.c.\lVert {\hat {w}}\rVert =1}

• una certa costante mwrq γ γ > 0 t . c . g ( x t ) ⟨ ⟨ x t , w ^ ^ ⟩ ⟩ ≥ ≥ γ γ ∀ ∀ t {\displaystyle \gamma >0\ t.c.g(x^{t})\langle x^{t},{\hat {w}}\rangle \geq \gamma \ \forall t}

• una certa costante mwrw R t . c . ‖ ‖ x t ‖ ‖ ≤ ≤ R ∀ ∀ t {\displaystyle R\ t.c.\lVert x^{t}\rVert \leq R\ \forall t}

il mwsqtraining set è detto linearmente separabile (geometricamente, questa condizione descrive la situazione in cui esiste un mwswiperpiano in grado di separare, nello spazio vettoriale degli input, quelli che richiedono un mwtaoutput positivo da quelli che richiedono un mwtqoutput negativo). In questo caso, Novikoff (1962) ha provato che l'algoritmo mwtgstandard converge, nel senso che il numero di errori è limitato da mwtw R 2 γ γ 2 {\displaystyle {\tfrac {R^{2}}{\gamma ^{2}}}} , in un numero finito di passi.cite-ref-6[6] Non è invece garantito che l'algoritmo descritto converga se il mwvatraining set non è linearmente separabile. Inoltre, altri algoritmi (per esempio l'algoritmo mwvqadatron), possono avere, in determinate situazioni, prestazioni migliori in termini di tempo di convergenza, di capacità di apprendimento, di generalizzazione, eccetera.

Il problema della separabilità lineare può essere risolto ricorrendo alla mwwavariante basata su kernel.

Per convenienza assumiamo valori di tipo [[binario]] per l{{'}}''output'' <math&#x3E;y_i</math&#x3E; desiderato: *<math&#x3E;y_i=1</math&#x3E; per le iterazioni positive *<math&#x3E;y_i=&#x2D;1</math&#x3E; per le iterazioni negative.

Ad ogni iterazione il vettore dei pesi sarà aggiornato come segue *Per ogni coppia <math&#x3E;(x,y)</math&#x3E; in <math&#x3E;D_m = \{(x_1,y_1),\dots,(x_m,y_m)\}</math&#x3E; *Sarà passato <math&#x3E;(x_i, y_i, w_i)</math&#x3E; alla regola di aggiornamento <math&#x3E;w(j)' = w(j) + \alpha(\delta&#x2D;y)x(j)</math&#x3E;

Il percettrone può essere allenato da un semplice algoritmo ''on&#x2D;line'' nel quale gli esempi sono presentati iterativamente e le correzioni al vettore dei pesi sono eseguite ogni volta in cui c'è la presenza di un errore (''learning by examples''). Quando c'è un errore, il vettore dei pesi sarà corretto come segue <math&#x3E; w_{k+1} \leftarrow w_k+ \eta\ y_i x_i </math&#x3E; e il termine che rappresenta il ''bias'' sarà corretto con <math&#x3E; b_{k+1} \leftarrow b_k+ \eta\ y_i R^2</math&#x3E;, being <math&#x3E; \eta\ </math&#x3E; un tasso di apprendimento (che si può dimostrare essere irrilevante) e <math&#x3E;R</math&#x3E; la norma massima del vettore in ingresso.

cite-note-11. ↑ mwxwmwyamwyqThe perceptron: A probabilistic model for information storage and organization in the brain., su mwygpsycnet.apa.org.

cite-note-22. ↑ mwzgCristianini, Nello; Shawe-Taylor, John. Support Vector Machines and other Kernel-based learning methods. Cambridge University Press: 2000.

cite-note-33. ↑ HAYKIN, Simon. Neural Networks - A Comprehensive Foundation. Second edition. Pearson Prentice Hall: 1999.

cite-note-44. ↑ mw1q(mw1gmw1wEN) Warren S. McCulloch e Walter Pitts, mw2amw2qA logical calculus of the ideas immanent in nervous activity, in mw2gThe Bulletin of Mathematical Biophysics, vol.mw2w 5, n.mw3a 4, 1943-12, pp.mw3q 115-133, mw3gDOI:mw3w10.1007/BF02478259. mw4aURL consultato il 13 giugno 2024.

cite-note-55. ↑ mw5a(mw5qmw5gEN) Bishop, Christopher M., mw5wmw6aPattern recognition and machine learning, Springer, 2006, pp.mw6q 192-196, mw6gISBNmw6w 0387310738, mw7qOCLCmw7g mw7w71008143. mw8aURL consultato il 10 agosto 2018.

cite-note-66. ↑ mw9aMichael Collins, mw9qmw9gConvergence Proof for the Perceptron Algorithm (mw9wmw-aPDF), su mw-qcs.columbia.edu, mw-gColumbia University - Dipartimento di informatica. mw-wURL consultato il 1º luglio 2017 mw-a(mw-qarchiviato il 25 giugno 2017).

• mwaqeRosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp.mwaqi 386–408. mwaqmDOI: 10.1037/h0042519.

• mwaquRosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC: Spartan Books.

• mwaqcMinsky, M. L. and mwaqgPapert, S. A. 1969. mwaqkPerceptrons. Cambridge, MA: MIT Press.

• citeref-mcmicrocomputer-102Reti neurali e Pattern Recognition - finalmente un cervello elettronico? (JPG), in MCmicrocomputer, n. 102, Roma, Technimedia, dicembre 1990, pp. 210-213, ISSN 1123-2714.

• citeref-mcmicrocomputer-103Reti neurali. Primi passi: il Perceptron (JPG), in MCmicrocomputer, n. 103, Roma, Technimedia, gennaio 1991, pp. 178-181, ISSN 1123-2714.

• mwaq8Percettrone basato su kernel

• mwarePercettrone multistrato

Altri progetti

• Wikimedia Commons

• Wikimedia Commons contiene immagini o altri file su percettrone

• citereftreccani-itPerceptron, su Treccani.it – Enciclopedie on line, Istituto dell'Enciclopedia Italiana.

• citerefdizionario-delle-scienze-fisichePerceptron, in Dizionario delle scienze fisiche, Istituto dell'Enciclopedia Italiana, 1996.

• citerefenciclopedia-della-scienza-e-della-tecnica-2008Mauro Cappelli, Percettrone, in Enciclopedia della scienza e della tecnica, Istituto dell'Enciclopedia Italiana, 2008.

• citerefenciclopedia-della-scienza-e-della-tecnica-2007Gérard Dreyfus, Léon Personnaz e Gérard Toulouse, Perceptron, in Enciclopedia della scienza e della tecnica, Istituto dell'Enciclopedia Italiana, 2007.

• citerefdizionario-di-medicinaPerceptron, in Dizionario di medicina, Istituto dell'Enciclopedia Italiana, 2010.

• citerefsapere-itperceptróne, su sapere.it, De Agostini.

• citerefbritannica-com(EN) B.J. Copeland, perceptrons, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.

• mwargApprendimento del percettrone, su dii.unisi.it.

• mwaroReti a percettrone, su automatica.ing.unibs.it. URL consultato il 14 dicembre 2006 (archiviato dall'url originale il 9 maggio 2006).